Quantifying and Auditing LLM Evaluation via Positive--Unlabeled Learning
通过正无标签学习量化与审计 LLM 评估
🧭 LLM评估校准与偏置校正
Georgia State University · University of Manitoba
将选择性人工监督下的 LLM 评估建模为正无标签学习，通过部分最优传输几何对齐纠正裁判偏差
📌 工作参考价值（4 点）
- 当用 LLM 做推荐理由/对话质量等主观评估时，可利用少量人工“好”样本（正例）通过部分最优传输自动找出嵌入空间中与人类偏好一致的未标注样本，无需大规模重标。
- 该方法不重新训练 LLM 裁判，仅通过几何对齐修正评分，适合线上部署时快速校准频繁出现的冗长偏差等系统性偏置。
- 输出的可解释置信度估计可直接用于过滤低质量评估结果，减少误判对线上推荐系统的影响。
- 可直接套用现有嵌入模型（如sentence embedding），只需构建正样本集合，即可运行审计流程，成本低、工程改造成本小。